scala（Row、Array、Tuple、Class、RDD、DF之间类型转换）

您所在的位置：网站首页 › scala getas › scala（Row、Array、Tuple、Class、RDD、DF之间类型转换）

scala（Row、Array、Tuple、Class、RDD、DF之间类型转换）

#scala（Row、Array、Tuple、Class、RDD、DF之间类型转换）| 来源: 网络整理| 查看: 265

前言

spark中因为Rdd和Dataframe的一些封装函数处理，经常会遇到类型的相关转换，今天就记录些常见的几种类型转换。

Array => Row val arr = Array("aa/2/cc/10","xx/3/nn/30","xx/3/nn/20") // val row = Row.fromSeq(arr) val row = RowFactory.create(arr) Row => Array val a:Array[Any] = row.toSeq.toArray

有时候会对数组类型T做限定、比如String之类的。这时就需要中间处理下

val a:Array[String] = row.toSeq.map(m => m.toString).toArray Tuple => Array val tuple = ((20201022,5060180989186180L,"[12, 15)"),288556) tuple.productIterator.toArray Class => Array

Class对象转数组也可以用上述方法。

// 定义类 case class Person(name:String, age:Int) Person("test", 1).productIterator.toArray Array => RDD val rdd = sparkSession.sparkContext.parallelize(Array(tuple)) RDD => DataFrame

可以通过RDD[Row]

val rdd = sparkSession.sparkContext.parallelize(Array(("tom",1),("luna",2))).map(row =>Row(row._1, row._2)) // 创建Schema val schema=StructType(Array( StructField("name",StringType,true), StructField("age",IntegerType,true) )) val df = sparkSession.createDataFrame(rdd,schema)

也可以通过sparkSession.implicits._隐式转换直接到df。

import sparkSession.implicits._ val df = sparkSession.sparkContext.parallelize(Array(("tom",1),("luna",2))) .map(row =>Person(row._1, row._2)).toDF() DataFrame => RDD val rdd1 = df.rdd

【本文地址】

scala（Row、Array、Tuple、Class、RDD、DF之间类型转换）

scala（Row、Array、Tuple、Class、RDD、DF之间类型转换）

今日新闻

推荐新闻